Khayyam termasyhur semasa hidupnya sebagai ahli matematik kerana mencipta kaedah untuk menyelesaikan persamaan kuasa tiga melalui menyilangi parabola dengan bulatan. Walaupun pendekatannya pernah dicuba oleh Menaechmus dan orang-orang lain, Khayyam memberikan generalisasi yang merangkumi kesemua kuasa tiga. Tambahan pula, beliau menemui kembangan binomial dan menulis kritikan terhadap teori-teori selari Euclid yang kemudian tersebar ke Eropah dan akhirnya menyumbang kepada perkembangan geometri bukan Euclid di sana.

Pada tahun 1070, Khayyam menulis sebuah mahakarya mengenai algebra. Dalam karya ini, beliau mengelaskan persamaan menurut darjahnya, dan memberikan peraturan untuk menyelesaikan persamaan kuadratik yang amat serupa dengan penyelesaian yang digunakan pada hari ini, serta kaedah geometri untuk menyelesaikan persamaan kuasa tiga dengan punca nyata. Khayyam juga menulis tentang tatasusun segi tiga untuk pekali binomial yang dikenali sebagai segi tiga Pascal. Pada tahun 1077, beliau menulis Sharh ma ashkala min musadarat kitab Uqlidis ("Penjelasan tentang Kesukaran dalam Postulat Euclid"). Sebahagian yang penting di dalam bukunya mengenai postulat selari Euclid yang termasyhur yang juga menarik minat Thabit ibn Qurra. Al-Haytham pernah mencuba suatu tunjuk cara untuk postulat ini, tetapi percubaan Omar adalah jauh lebih maju. Khayyam juga menghasilkan karya-karya geometri lain yang terkenal, khususnya berkenaan dengan teori perkadaran.